查看原文
其他

口型翻译配对太丝滑了,免费视频换脸AI数字人—Wav2Lip(保姆级操作教程)

赤辰 赤辰AI实操记
2024-10-09

hi,同学们,我是赤辰,本期是我们第90期AI项目教程



前几天给大家介绍了SD数字人(对口型)插件Wav2Lip安装教程,可能对于小白来说操作较复杂,且对硬件要求较高,建议大家云部署。


今天将重点给大家分享用Wav2lip来制作音频驱动视频生成数字人口播视频使用教程。


接下来将逐一详细演示讲解


制作之前,需要提前准备好一条源视频,一条音频,视频和音频的时长必须一致。关于文本转音频工具,这里推荐使用免费的TTSMAKER在线配音工具,或者你也可以使用语音克隆工具ElevenLabs AI。


这里我准备了一段8秒的泰勒演讲视频,一段我用TTSMAKER制作的音频来给大家演示。




打开SD,确保Wav2lip Studio插件及模型已安装完毕。
接着点击Wav2lip,进入编辑界面。


进入编辑界面后,首先上传提前准备好的源视频。


接着上传音频


然后选择模型,这里有两个模型可供选择,我选择wav2lip模型来测试。


wav2lipwav2lip_gan的区别
  • wav2lip模型:能精确地追踪嘴巴动作,但是清晰度低,有可能导致生成的视频脸部动作怪怪的,不协调。
  • wav2lip_gan模型:减小嘴部动作,画面效果较高清晰度,支持面部修复。

接着简单讲讲底部这些参数:


no smooth:出现伪影或两张嘴时开启
only mouth:仅跟踪嘴部,删除其他面部运动,如脸颊和下巴
resize factor:调低分辨率,2k以上原视频适用,因为Web tolip的开源模型,数据及分辨率都比较低,有时候降低分辨率,可以得到更好的结果。
Mouth Mask Dilate:调节嘴巴运动幅度大小
Face Mask Erode:调节脸部平滑度

另外的几个参数,一般建议保持初始参数即可。

这些参数没有固定的最优值,每个视频都不一样的这个有点花时间去调,生成的视频,如果人物嘴巴过小的话,就可以把参数调大,人物嘴巴大,就可以调小参数,主要是根据你的视频来调整这些参数,直到满意为止。


最后点击“生成”,生成的过程会很慢,占用的显存也会很大,大概静等1-5分钟左右,系统就生成3个视频,点击第三个视频下载即可。


来看看最终视频效果


效果非常不错!整个口型还算自然。

接下来我们来试试Wav2lip视频换脸,同样先上传视频


接着上传需要换脸的人物图片,我这里选择了一张刘亦菲的正脸照,然后上传音频。


这里选择wav2lip_gan模型,可以进行脸部修复。


最后直接点击生成按钮,即可等待视频生成,换脸生成视频等待的时长会更久,会占用20多G的显存,8S视频,需要15分钟左右,所以一般建议源视频可以提前降低分辨率,再上传wav2lip生成。

最后看看换脸后的效果

换脸效果还蛮贴合,但是头发部分还是有些瑕疵,想要更完美的话,那就需要进行参数调节再次生成。

相比HEYGEN,免费的wav2lip还能生成那么高质量的数字人,真的香,掌握了这个工具使用,可以制作有创意的短视频内容,涨粉不愁,同学们快试试吧!

好了,今天的内容就到这,本期AI实战圈开展第五期训练营:AI公众号爆文写作,AI小红书商单训练营长期进行中,假如同学对AI项目感兴趣,想学习更多AI技能等等,可加我微信。若同学们觉得内容有帮助,记得点赞,在看,转发三连!

往期教程:
最新能让老外对口型讲中文的AI 视频教程!免费开源AI工具——Wav2Lip(附详细安装教程)
教你免费用SD 1分钟生成爆款风景视频,Stable Video Diffusion最简教程!
在小红书用AI做00后宝妈IP人设账号,日均涨粉1200+
END



继续滑动看下一个
赤辰AI实操记
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存